iT邦幫忙

2024 iThome 鐵人賽

DAY 1
1
Software Development

我命由我不由語言 java爬蟲挑戰系列 第 1

Java爬蟲挑戰 Day 1 - 前言 & Java爬蟲大綱

  • 分享至 

  • xImage
  •  

在友人的邀請下,有幸來參加看看鐵人賽。
目標是用30天的時間使用Java開發一個租屋爬蟲系統,並且透過Discord進行推播,就看看能在30天完成多少了。

選題靈感

來自於Joeman的一個月2900元的的超平價租屋!《Joe是要對決S2》Ep217
https://ithelp.ithome.com.tw/upload/images/20240818/20168635IBsp9jZpVd.png
片中的租客利用爬蟲找到超便宜的套房,片中主角當然是選擇Python進行開發,雖然Python簡單好上手,但是都參加鐵人賽了,我還是想繼續加強自己工作中使用的Java,也藉此機會對比一下Java與Python在爬蟲開發中的優劣勢。

目前30天規劃

前言

Java爬蟲挑戰Day 1: 介紹iThome 鐵人賽及本系列文章的目標

爬蟲概念

Java爬蟲挑戰Day 2: 網頁爬蟲的基本概念
Java爬蟲挑戰Day 3: HTTP請求與網頁解析
Java爬蟲挑戰Day 4: 591租屋網概述與分析

Java爬蟲專案建立

Java爬蟲挑戰Day 5: Spring Boot 專案建立
Java爬蟲挑戰Day 6: Java爬蟲Library介紹
Java爬蟲挑戰Day 7: 解析591租屋網的HTML結構
Java爬蟲挑戰Day 8: 處理591租屋網的分頁問題

深入解析與數據處理

Java爬蟲挑戰Day 9: 解析房屋詳細信息頁面
Java爬蟲挑戰Day 10: 爬取並解析圖片和其他多媒體內容
Java爬蟲挑戰Day 11: 設定與應用Cookies和Headers
Java爬蟲挑戰Day 12: 處理JavaScript渲染的內容
Java爬蟲挑戰Day 13: 數據清洗與整理
Java爬蟲挑戰Day 14: 優化爬蟲性能與效率
Java爬蟲挑戰Day 15: 錯誤處理與例外情況應對

Discord機器人整合與高階功能

Java爬蟲挑戰Day 16: 介紹Discord與環境搭建
Java爬蟲挑戰Day 17: 創建簡單的Discord通知機器人
Java爬蟲挑戰Day 18: 設定爬取條件並通知租屋信息
Java爬蟲挑戰Day 19: 增加互動性元素
Java爬蟲挑戰Day 20: 優化Discord機器人的性能與可靠性
Java爬蟲挑戰Day 21: 進階的Discord功能
Java爬蟲挑戰Day 22: 整體測試與優化
Java爬蟲挑戰Day 23: 部署Java爬蟲與Discord機器人
Java爬蟲挑戰Day 24: 爬蟲和Discord機器人的擴展與應用

Java與Python 爬蟲比較

Java爬蟲挑戰Day 25: 比較Java與Python在開發效率上的差異
Java爬蟲挑戰Day 26: 調試與錯誤處理的比較
Java爬蟲挑戰Day 27: 生態系統與社群支持比較

後續

Java爬蟲挑戰Day 28: Java爬蟲的常見問題和解決方案
Java爬蟲挑戰Day 29: 項目總結與反思
Java爬蟲挑戰Day 30: 未來計劃與展望

那就這樣了,很期待自己的完成度能有多少!


下一篇
java爬蟲挑戰 Day 2 - 網路爬蟲基本概念
系列文
我命由我不由語言 java爬蟲挑戰30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言